在目前的工作中,我们表明,公式驱动的监督学习(FDSL)的表现可以匹配甚至超过Imagenet-21K的表现,而无需在视觉预训练期间使用真实的图像,人类和自我选择变压器(VIT)。例如,在ImagEnet-21K上预先训练的VIT-BASE在ImagEnet-1K上进行微调时,在ImagEnet-1K和FDSL上进行微调时显示了81.8%的TOP-1精度,当在相同条件下进行预训练时(图像数量,数量,,图像数量,超参数和时期数)。公式产生的图像避免了隐私/版权问题,标记成本和错误以及真实图像遭受的偏见,因此具有巨大的预训练通用模型的潜力。为了了解合成图像的性能,我们测试了两个假设,即(i)对象轮廓是FDSL数据集中重要的,(ii)创建标签的参数数量增加会影响FDSL预训练的性能改善。为了检验以前的假设,我们构建了一个由简单对象轮廓组合组成的数据集。我们发现该数据集可以匹配分形的性能。对于后一种假设,我们发现增加训练任务的难度通常会导致更好的微调准确性。
translated by 谷歌翻译
训练视觉和语言模型的更多数据总是更好吗?我们研究多模式任务中的知识可传递性。当前的机器学习趋势是假设通过从不同任务加入多个数据集,其整体绩效将有所改善。但是,我们表明,并非所有知识都会很好地转移或对相关任务产生积极影响,即使它们共享一个共同的目标也是如此。我们基于数百种分为4组的视觉和语言任务进行了数百个跨表现的分析。尽管同一组中的任务容易相互改进,但结果表明并非总是如此。其他因素(例如数据集大小或训练阶段)也对知识的转移程度也有很大的影响。
translated by 谷歌翻译
在决策过程中使用机器学习技术时,模型的解释性很重要。Shapley添加说明(SHAP)是机器学习模型最有前途的解释方法之一。当一个变量的效果取决于另一个变量的值时,就会发生交互作用。即使每个变量对结果几乎没有影响,其组合也会对结果产生大量影响。了解互动对于理解机器学习模型很重要。但是,天真的外形分析无法区分主要效果和相互作用效果。在本文中,我们将Shapley-Taylor索引作为一种解释方法,用于使用Shap考虑相互作用效果的机器学习模型。我们将该方法应用于京都大学医院的癌症队列数据(n = 29,080),以分析哪种因素组合有助于结肠癌的风险。
translated by 谷歌翻译
在决策过程中使用机器学习技术时,模型的可解释性很重要。在本文中,我们采用了福利添加剂解释(Shap),这是根据许多利益相关者之间的公平利润分配,根据其贡献,用于解释使用医院数据的渐变升级决策树模型。为了更好地解释,我们提出了如下的三种新技术:(1)使用SHAC和(2)所谓的特征包的特征重要性的新度量,该技术被称为一个分组的特征,以允许更容易地了解模型没有模型的重建。然后,将解释结果与Shap框架和现有方法进行比较。此外,我们展示了A / G比如何使用医院数据和所提出的技术作为脑梗死的重要预后因素。
translated by 谷歌翻译
The status of retinal arteriovenous crossing is of great significance for clinical evaluation of arteriolosclerosis and systemic hypertension. As an ophthalmology diagnostic criteria, Scheie's classification has been used to grade the severity of arteriolosclerosis. In this paper, we propose a deep learning approach to support the diagnosis process, which, to the best of our knowledge, is one of the earliest attempts in medical imaging. The proposed pipeline is three-fold. First, we adopt segmentation and classification models to automatically obtain vessels in a retinal image with the corresponding artery/vein labels and find candidate arteriovenous crossing points. Second, we use a classification model to validate the true crossing point. At last, the grade of severity for the vessel crossings is classified. To better address the problem of label ambiguity and imbalanced label distribution, we propose a new model, named multi-diagnosis team network (MDTNet), in which the sub-models with different structures or different loss functions provide different decisions. MDTNet unifies these diverse theories to give the final decision with high accuracy. Our severity grading method was able to validate crossing points with precision and recall of 96.3% and 96.3%, respectively. Among correctly detected crossing points, the kappa value for the agreement between the grading by a retina specialist and the estimated score was 0.85, with an accuracy of 0.92. The numerical results demonstrate that our method can achieve a good performance in both arteriovenous crossing validation and severity grading tasks. By the proposed models, we could build a pipeline reproducing retina specialist's subjective grading without feature extractions. The code is available for reproducibility.
translated by 谷歌翻译